From Marbles to Daxes

An Introduction to HBMs and their Application to Category Learning”

Jan Luca Schnatz

Hierarchisches Beta-Binomiales Modell

Einführendes Beispiel

Wiederholtes Ziehen von schwarzen und weißen Murmeln aus verschiedenen Murmelbeuteln

Welche Farbe ist für die nächste Murmel im achten Murmelbeutel am wahrscheinlichsten?

Intuition

But think about that for a second. Mathematically, observing one black marble is incredibly weak evidence. If that was the only thing you saw, you shouldn’t be confident at all.
So why were you confident? Because you didn’t look at Bag 8 in isolation. You looked at the context.
Having seen that within each bag, colors tend to be homogenous (so either almost completely black or white) makes the single black marble highly informative
You noticed a pattern of Homogeneity: The previous bags were never “mixed.” They were always almost completely black or completely white.
This creates a strong Prior: “Bags tend to be uniform.”
Now, here is the most important part. It is not just about having “lots of past data.”
Imagine I took all those previous marbles and dumped them into one giant pile on the floor.
You would see a pile that is 50% black and 50% white.
If I drew one black marble from that pile, you would predict the next one is… well, probably 50/50.
So, the raw data didn’t change your mind. The structure did. The fact that the data came in bags is what allows us to learn the abstraction.
So we have established that the grouping – the hierarchical structure – of the data is what matters for this inference
Because information at higher levels could be shared across the bags we developed a strong prior expectation of the marble color for the 8th bag after seeing the first marble, and thus we can make precise predictions from these priors
From the computational perspective of David Marr, we need to ask: What is the computational problem the mind is solving here?
Our goal is to reverse-engineer this intuition.
We want to construct a Bayesian model that captures this reasoning,
To solve this computational problem, we need to translate our “gut feeling” about the bags into a formal probabilistic model.
We will build this model from the bottom up, starting with the only thing the mind can actually observe directly

Eine einzelne schwarze Murmel liefert wenig Information über zukünftige Murmeln.
Durch Vorwissen über viele Murmelbeutel (meist schwarz oder meist weiß) wird die einzelne Beobachtung informativ.

\(\rightarrow\) Hohe Wahrscheinlichkeit, dass die nächsten Murmeln ebenfalls schwarz sind

Hierarchische Struktur

Informationen werden über Murmelbeutel hinweg auf höherer Ebene geteilt.
Beobachtungen aus früheren Murmelbeuteln formen starke Priors.
Diese Priors beeinflussen Vorhersagen über neue Murmelbeutel.

Zielsetzung

Entwicklung eines Bayesianisches-Modell, das menschliche Schlussfolgerung über Farbverteilungen zwischen Murmelbeuteln rekonstruiert kann (reverse-engineering).

Formalisierung des Problems

Wir ziehen aus \(i\) Murmelbeuteln, wobei \(y_i\) die Anzahl an gezogenen schwarzen Murmel und \(n_i\) die ingesamt gezogenen Murmeln repräsentiert.

Formalisierung des Problems

Wir ziehen aus \(i\) Murmelbeuteln, wobei \(y_i\) die Anzahl an gezogenen schwarzen Murmel und \(n_i\) die ingesamt gezogenen Murmeln repräsentiert.

Level 1 – Daten

\(d_i: \big\{y_i, n_i \big\}\)

Formalisierung des Problems

Wir ziehen aus \(i\) Murmelbeuteln, wobei \(y_i\) die Anzahl an gezogenen schwarzen Murmel und \(n_i\) die ingesamt gezogenen Murmeln repräsentiert.

Level 1 – Daten

\(d_i: \big\{y_i, n_i \big\}\)

Level 2 – Beutelspezifische Verteilung

\(y_i ~ \big| ~ n_i \sim \text{Binom}(\theta_i)\)

Formalisierung des Problems

Wir ziehen aus \(i\) Murmelbeuteln, wobei \(y_i\) die Anzahl an gezogenen schwarzen Murmel und \(n_i\) die ingesamt gezogenen Murmeln repräsentiert.

Level 1 – Daten

\(d_i: \big\{y_i, n_i \big\}\)

Level 2 – Beutelspezifische Verteilung

(\(\theta_i\)): Wahrscheinlichkeit, eine schwarze Murmel aus Beutel (i) zu ziehen
Verschiedene Beutel können unterschiedliche Wahrscheinlichkeiten (\(\theta_i\)) haben

\(y_i ~ \big| ~ n_i \sim \text{Binom}(\theta_i)\)

Formalisierung des Problems

Wir ziehen aus \(i\) Murmelbeuteln, wobei \(y_i\) die Anzahl an gezogenen schwarzen Murmel und \(n_i\) die ingesamt gezogenen Murmeln repräsentiert.

Level 1 – Daten

\(d_i: \big\{y_i, n_i \big\}\)

Level 2 – Beutelspezifische Verteilung

\(y_i ~ \big| ~ n_i \sim \text{Binom}(\theta_i)\)

Level 3 – Allgemeines Wissen über Murmelbeutel

\(\theta_i \sim \text{Beta}(\alpha, \beta)\)

Formalisierung des Problems

Wir ziehen aus \(i\) Murmelbeuteln, wobei \(y_i\) die Anzahl an gezogenen schwarzen Murmel und \(n_i\) die ingesamt gezogenen Murmeln repräsentiert.

Level 1 – Daten

\(d_i: \big\{y_i, n_i \big\}\)

Level 2 – Beutelspezifische Verteilung

\(y_i ~ \big| ~ n_i \sim \text{Binom}(\theta_i)\)

Level 3 – Allgemeines Wissen über Murmelbeutel

Erwartungswert (\(\frac{\alpha}{\alpha + \beta}\)) von (\(\theta_i\))
Precision-Paramter (\(\alpha + \beta\)), die die Konzentration der Wahrscheinlichkeitsmasse um den Mittelwert beschreibt (invers zur Varianz)

\(\theta_i \sim \text{Beta}(\alpha, \beta)\)

Formalisierung des Problems

Wir ziehen aus \(i\) Murmelbeuteln, wobei \(y_i\) die Anzahl an gezogenen schwarzen Murmel und \(n_i\) die ingesamt gezogenen Murmeln repräsentiert.

Level 1 – Daten

\(d_i: \big\{y_i, n_i \big\}\)

Level 2 – Beutelspezifische Verteilung

\(y_i ~ \big| ~ n_i \sim \text{Binom}(\theta_i)\)

Level 3 – Allgemeines Wissen über Murmelbeutel

\(\theta_i \sim \text{Beta}(\alpha, \beta)\)

Level 4 – Hyperparameter

\(\frac{\alpha}{\alpha + \beta} \sim \text{Unif}(0, 1)\)

\(\alpha + \beta \sim \text{Exp}(1)\)

Formalisierung des Problems

Wir ziehen aus \(i\) Murmelbeuteln, wobei \(y_i\) die Anzahl an gezogenen schwarzen Murmel und \(n_i\) die ingesamt gezogenen Murmeln repräsentiert.

Level 1 – Daten

\(d_i: \big\{y_i, n_i \big\}\)

Level 2 – Beutelspezifische Verteilung

\(y_i ~ \big| ~ n_i \sim \text{Binom}(\theta_i)\)

Level 3 – Allgemeines Wissen über Murmelbeutel

\(\theta_i \sim \text{Beta}(\alpha, \beta)\)

Level 4 – Hyperparameter

Prior der Beta-Verteilung
Uniformer Prior für (\(\frac{\alpha}{\alpha + \beta}\)) \(\rightarrow\) jede mittlere Wahrscheinlichkeit, eine schwarze Murmel zu ziehen, ist vor Daten gleich wahrscheinlich
Exponentielle Verteilung für (\(\alpha + \beta\)) \(\rightarrow\) kleinere Werte sind vor Beobachtung der Daten wahrscheinlicher

\(\frac{\alpha}{\alpha + \beta} \sim \text{Unif}(0, 1)\)

\(\alpha + \beta \sim \text{Exp}(1)\)

Formalisierung des Problems

Wir ziehen aus \(i\) Murmelbeuteln, wobei \(y_i\) die Anzahl an gezogenen schwarzen Murmel und \(n_i\) die ingesamt gezogenen Murmeln repräsentiert.

Level 1 – Daten

\(d_i: \big\{y_i, n_i \big\}\)

Level 2 – Beutelspezifische Verteilung

\(y_i ~ \big| ~ n_i \sim \text{Binom}(\theta_i)\)

Level 3 – Allgemeines Wissen über Murmelbeutel

\(\theta_i \sim \text{Beta}(\alpha, \beta)\)

Level 4 – Hyperparameter

\(\frac{\alpha}{\alpha + \beta} \sim \text{Unif}(0, 1)\)

\(\alpha + \beta \sim \text{Exp}(1)\)

Posteriore Inferenz

[Top Equation: The Structure]

Now that we have formalized our intuition in a probabilistic model that captures that hierarchical structure of the data, the next question we should ask ourselfs: How do we estimate this model?
Well, we apply Bayes’ rule
The Posterior distribution is “simply” the product of the levels we just built: The Hyperprior (Level 4), the Conditional Prior (Level 3), and the Likelihood (Levels 1 & 2).

[Bottom Equation: The Mechanism]

The second equation is where the magic happens.
We want to predict \(\theta_i\) for a specific bag.
Since we don’t know the “true” \(\alpha\) and \(\beta\), we don’t just guess one value.
Instead, this integral averages over all possible values of \(\alpha\) and \(\beta\), weighted by how likely they are given the data (\(d_1 \dots d_n\)).
[Key Takeaway]

This is the mathematical definition of “Sharing Statistical Strength.”By integrating out \(\alpha\) and \(\beta\), the data from all previous bags flows down to influence the prior for the current bag

Anwendung von Bayes-Formel bei hierarchischen Modellen

\[ \begin{gathered} \overbrace{P(\theta, \alpha, \beta ~ | ~ y)}^{\text{Posterior}} \propto \underbrace{P(\alpha, \beta)}_{\text{Hyperprior}} \overbrace{P(\theta ~ | ~ \alpha, \beta)}^{\text{Conditional Prior}} \underbrace{P(y ~ | ~ \theta, \alpha, \beta)}_{\text{Likelihood}} \end{gathered} \]

Posterior Inferenz bezüglich \(\theta_i\) durch Integration über \(\alpha\) und \(\beta\)

\[ \begin{align*} P(\theta_i ~ | ~ d_1, \dots, d_n) = \iint P(\theta_i ~ | ~ \alpha, \beta, d_i) P(\alpha, \beta ~ | ~ d_1, \dots, d_n) \,d\alpha \,d \beta \end{align*} \]

Anwendung des Modells auf das Murmelbeispiel

These are the results of fitting the model we formalized using HMC with STAN to the marble data I showed you
We read the model hierarchy from left to right
- On the left you see a repetition of the marbles we obtained
- The middle panel shows the posterior distributions of \(\theta_i\) parameters for each bag (y-axis)
- The right panel shows the posterior distributions for the hyperparameters \(\mu\) and \(\phi\)
Figures show learning from the 7 previous bags of marbles incluences the inference about the new bag from which the single black marble was drawn
If we zoom in on the posterior distribution for \(\theta_8\) for the 8th bag, we see that the hierachical bayesian model captures our intuition \(\rightarrow\) high certainty that probability of drawing a black marble is near one for the 8th bag
How was the model able to make this inference? To find out we have to look that the level three inferences about the \(\alpha\) and \(\beta\) variables [Zoom in]
Posterior on \(\alpha + \beta\) is close to zero, which means that the learned the overhypothesis that the bags tend to be homogenous in color
Posterior on \(\alpha / (\alpha + \beta)\) is centered around 0.5, which means that roughly half of the marble in the population of bags will be black and half white.

Second figure:

To show what the model would predict, if it had seen different data, I additionally simulate a second marble scenario
What you can see in the left panel, two key aspects:
- On average there seems to be less than 50% black marbles across the bags (in the first example it was roughly 50%)
- The bags are now way less homogenous \(\rightarrow\) there tend to be both white and black marbles in each bag
The shift in the average probability of drawing a black marble is reflected in the \(\alpha / (\alpha + \beta)\), which is now shifted to the left of 0.5 \(\rightarrow\) model has inferred that there are fewer black marbles that white marbles across the entire population of bags
The posterior distribution of \(\alpha + \beta\) indicates that in comparison to the previous example, the parameters are relatively larger (greater than 1), which indicates that the bags of marbles are expected to contain a mix of black and white marbles (so they are heterogeneous)
This explains why now the model predicts in the posterior distribution for \(\theta_8\), that the probability of drawing a black marble in bag 8 is probably not close to 1, and additionally there is high uncertainty

Szenario 1
Szenario 2

Zwischenfazit

Das Murmelbeispiel zeigt, dass HBMs gut mit unserer Intuition übereinstimmen, wie hierarchisch strukturierte Daten genutzt werden können, um Generalisierungen (overhypotheses) zu bilden.

Wieso ist das wichtig?

Diese Abstrakte Wissen ermöglicht schnelles Lernen aus nur wenigen Daten sowie One-Shot-Generalisierung.

Anwendung von HBMs to
Lernen von Kategorien

Einführendes Beispiel

Szenario: Eine Mutter zeigt auf einen unbekannten Gegenstand und sagt zu ihrem Kind, dass dies ein Stift sei.

Frage

Anhand welcher Merkmale verallgemeinern Kinder das Konzept „Stift“ und erkennen zukünftige Exemplare eines Stifts als solchen an?

Grundsätzlich könnte das Kind das Wort auf Objekte mit gleichem Material, gleicher Farbe, gleicher Textur oder einfach Objekten auf der Arbeitsplatte übertragen.
Empirisch neigen Kinder jedoch dazu, das neue Wort auf andere Objekte zu übertragen, die die gleiche Form haben.

Shape Bias

Die Erwartung, dass Mitglieder einer Kategorie tendenziell eine ähnliche Form haben.

Adapation des Hierarchischen Beta-Binomialen Modells

Overview of Changes
	Murmel-Beispiel	Form-Beispiel
Hierarchisch Variable	Beutel	Objektkategorie
Daten	Murmel	Exemplare
Merkmale	Farbe	Form, Farbe, Textur, Größe, etc.
Merkmalswerte	Binär	Kategorisch

Level 1: Binäre Beobachtungen \(\rightarrow\) Kategoriale Beobachtungen
Level 2: Binomialverteilung \(\rightarrow\) Multinomialverteilung
Level 3: Beta-Prior \(\rightarrow\) Dirichlet-Prior
Level 4: Hyperprior wie zuvor
Kopie von Level 2–4 für jede Merkmalsdimension (Farbe, Form, Textur, Größe)

Model Adaption

Das Modell schließt, dass Kategorien in der Form konsistent sind (geringe Varianz), aber in der Farbe variabel (hohe Varianz)
Diese gelernte Struktur erzeugt eine starke Prior-Erwartung, dass jede neue Kategorie ebenfalls in der Form homogen ist
Modell schnelle Generalisierung neuer Labels basierend auf Formähnlichkeit und ignoriert effektiv Unterschiede in der Farbe \(\rightarrow\) Shape Bias

Anwendung auf die Nomen-Generalisisation

Table 1: Training Data

	1		2		3		4
Kategorie	1	1	2	2	3	3	4	4
Form	1	1	2	2	3	3	4	4
Textur	1	2	3	4	5	6	7	8
Farbe	1	2	3	4	5	6	7	8
Größe	1	2	1	2	1	2	1	2

Zwei Exemplare pro Kategorie (Spalten)
Verschiedene Merkmalsdimensionen (Form, Textur, Farbe, Größe)
Paare von Objekten derselben Kategorie teilen die gleiche Form

Table 2: Testing Data

	'Dax'	Objekt 1	Objekt 2	Objekt 3
Kategorie	5	?	?	?
Form	5	5	6	6
Textur	9	10	9	10
Farbe	9	10	10	9
Größe	1	1	1	1

Nach dem Training stoßen Kinder (und das Modell) auf ein neues Objekt mit dem neuen Nomen „dax“.

Aufgabe: Welches der drei Kandidatenobjekte mit unbekannter Kategorie ist am wahrscheinlichsten ein dax?

Data based on Smith et al. (2002)

Results of Noun Generalization Task

19 Monate alte Kinder, die das strukturierte Training erhielten, wählen das Objekt mit gleicher Form \(\rightarrow\) Shape Bias
Untrainierte 19 Monate alte Kinder wählen zufällig
HBM wist gleichen Präferenzmuster wie die trainierten Kinder auf

Zusammenfassung

Test

Literatur

Smith, L. B., Jones, S. S., Landau, B., Gershkoff-Stowe, L., & Samuelson, L. (2002). Object name learning provides on-the-job training for attention. Psychological Science, 13(1), 13–19. https://doi.org/10.1111/1467-9280.00403

From Marbles to Daxes

Hierarchisches Beta-Binomiales Modell

Einführendes Beispiel

Intuition

Formalisierung des Problems

Formalisierung des Problems

Formalisierung des Problems

Formalisierung des Problems

Formalisierung des Problems

Formalisierung des Problems

Formalisierung des Problems

Formalisierung des Problems

Formalisierung des Problems

Posteriore Inferenz

Anwendung des Modells auf das Murmelbeispiel

Zwischenfazit

Anwendung von HBMs to Lernen von Kategorien

Einführendes Beispiel

Adapation des Hierarchischen Beta-Binomialen Modells

Model Adaption

Anwendung auf die Nomen-Generalisisation

Results of Noun Generalization Task

Zusammenfassung

Literatur

Anwendung von HBMs to
Lernen von Kategorien